端侧AI推理加速:NPU架构演进与TensorRT/ONNX Runtime移动端部署优化 深入剖析端侧AI推理的NPU架构演进(Apple/Qualcomm/MediaTek)、模型量化技术(PTQ/QAT/混合精度)与TensorRT/ONNX Runtime移动端部署优化策略,涵盖EE Provider抽象与跨平台推理最佳实践。 服务器运维 2026年09月23日 0 点赞 0 评论 76 浏览
ONNX Runtime 推理引擎深度工程实战:从图优化、算子融合到执行提供器与内存规划的全链路解析 沿 ONNX Runtime 的真实执行链路拆解推理引擎内核:Session 初始化时的 Graph Transformer 图改写与三级优化、算子融合收益的真实来源、执行提供器如何做图分区以及跨 EP 拷贝的代价、静态内存规划如何用生命周期区间复用显存、IOBinding 零拷贝的适用边界 工程实践 2026年10月06日 0 点赞 0 评论 97 浏览